package jly521.com

/**
  * Created by cuiyufei on 2018/2/13.
  */

import org.apache.spark.SparkContext
import org.apache.spark.SparkConf

object WordCountRemote {
  private val master = "spark://master:7077"

  def main(args: Array[String]) {
    //    val inputFile =  "/home/kkxmoye/Downloads/file/file1.txt"   //无效操作
    //    val inputFile =  "E:\\BaiduNetdiskDownload\\1.txt"   //setMaster：local 模式下 可以本地固定地址为输入
    val inputFile = "hdfs://master:9000/hdfsinput/file1.txt" //本地Hadoop配置
    val conf = new SparkConf()
    conf.setAppName("WordCount").setMaster(master)
    val sc = new SparkContext(conf)


            println("00000000000000000000000000")
    val lines = sc.textFile(inputFile)
    println("22222222222222222222222")
    val lineLengths = lines.map(s => s.length)
    println("333333333333333333333")
    val totalLength = lineLengths.reduce((a, b) => a + b)
    println("00000000000000000000000000totalLength"+totalLength)

//        println("00000000000000000000000000")
//
//    val textFile = sc.textFile("hdfs://master:9000/hdfsinput/file1.txt")
//
//    println("11111111111111111111111")
//    val rdd2=textFile.flatMap(line=>{ line.split(" ") })
//
//    println("222222222222222222222")
//    var countsRDD=rdd2.map(word => (word,1)).reduceByKey(_ + _)
//
//    println("333333333333333333333333333")
//
//    countsRDD.take(2).foreach(println)
//    countsRDD.collect().foreach(println)
//    println("4444444444444444444444444")
//
//    countsRDD.foreach(println)
//
//    println("55555555555555555555")













    //    val textFile = sc.textFile(inputFile)
    //    val wordCount = textFile.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey((a, b) => a + b)
//    val textFile = sc.textFile(inputFile)
//    println("QQQQQQQQQQQQQQQQQQQ")
//
//    val rdd = textFile.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey(_ + _)
//    println("aaaaaaaaaaaaaaaaaaaa")
//
//    rdd.collect()
//    println("bbbbbbbbbbbbbbbbbbbbbb")
//
//    rdd.foreach(println)
//
//    println("ccccccccccccccccc")
//
//
//    println("00000000000000000000000000")
//    //    wordCount.collect()//////////之前一直没加
//    println("1111111111111111")
//    //    println(wordCount)
//    println("2222222222222222")
//    //    wordCount.foreach(println)
//    //     var z = Array("Runoob", "Baidu", "Google")
//    //    z.foreach(println)
//    println("33333333333333333")
//    //    wordCount.saveAsTextFile("hdfs://master:9000/hdfsotput/file1.txt")
//    println("44444444444444")
  }
}
